Mặc dù được tạo điều kiện làm việc tốt ở Đại học Luân Đôn, nhưng Fleming và trợ lý của mình vẫn thực hiện những nghiên cứu của mình tại phòng thí nghiệm cũ của Học viện Saint Mary. Trong một thời gian dài, ông đã thực hiện các thí nghiệm nuôi cấy liên cầu khuẩn. Nhưng vì điều kiện dụng cụ, thiết bị lúc đó còn thô sơ nên việc tránh sự tạp nhiễm của các loại vi khuẩn, nấm mốc khác vào các hộp petri nuôi cấy là rất khó khăn.

Vào ngày 28 tháng 9 năm 1928, khi người phụ tá của Fleming mở một đĩa petri đã cấy vi khuẩn để lấy vi khuẩn đi nghiên cứu thì anh phát hiện thấy trong đĩa petri ấy xuất hiện một loại nấm màu xanh nhạt. Báo cáo với Fleming về điều này, sau đó anh đem đổ đĩa petri ấy vào một cái đĩa khác, lúc ấy trên đĩa petri cũ còn lưu lại những đường vân xanh của loại nấm màu xanh lam ấy. Fleming thấy vậy, ông nghĩ rằng đó là dấu vết lưu lại của những vi khuẩn đã chết, ông bèn lấy một giọt dịch của đĩa petri bỏ đi ấy đem quan sát dưới kính hiển vi, thật ngạc nhiên khi ông phát hiện rằng không hề có dấu vết của liên cầu khuẩn trong đó.

Điều này đã khiến Fleming cho rằng loại nấm xanh đó đã tiết ra một chất có khả năng ức chế sự sinh trưởng của vi khuẩn, vì thế ông đã chuyển sang nuôi cấy loại nấm đó. Sau đó ông cho sợi nấm vào các dung dịch chứa vi khuẩn thương hàn, vi khuẩn lị, phế cầu khuẩn, não mô cầu... Kết quả cho thấy các loại vi khuẩn thương hàn, lị... vẫn phát triển mạnh bình thường, còn các loại cầu khuẩn kia lại chết hết toàn bộ. Lúc này, Alexander Fleming tin rằng phán đoán của mình là chính xác.

Giáo sư Fleming đã đem phát hiện của mình ra công bố vào năm 1929, đồng thời ông cũng nói rằng vào lúc đó ông chưa thể chiết tách được penicillin từ nấm Penicillium. Trong 10 năm sau đó, ông âm thầm làm các công việc khác trong khi vẫn tìm cách chiết tách penicillin, còn báo cáo của ông về penicillin dần rơi vào quên lãng khi giới y học lúc đó cho rằng nấm chỉ đem lại bệnh tật, chứ không thể chữa bệnh được.